Las 7 Vs de un sistema Big-Data

Grandes retos de la utilización de datos masivos

1. Volumen de información
2. Velocidad de generación de datos
3. Variedad de datos
4. Veracidad de los datos
5. Viabilidad del uso de los datos
6. Visualización de los datos
7. Valor de los datos: datos que se transforman en información, conocimiento, acción y decisión

Las 7 Vs de un sistema Big-Data

Grandes retos de la utilización de datos masivos

Objetivo

Presentar las oportunidades que ofrece el CMBD en la investigación en servicios sanitarios.

Pregunta de investigación

Efecto de la adopción de trombectomía primaria en la tasa de mortalidad por accidente cerebrovascular agudo (Indicador de calidad IQI 17).

Datos

Datos individuales de ingresos hospitalarios ente Enero de 2003 y diciembre de 2015.

Pacientes que ingresan con diagnóstico principal ictus isquémico

Conjunto Mínimo Básico de Datos

- Hospitalización (CMBD-H)

Información administrativa y clínica de los pacientes ingresados en unidades de hospitalización, la cual es recogida y codificada sistemáticamente en los hospitales, para cada episodio de hospitalización.

Los registros de alta son enviados al Ministerio por las comunidades autónomas, de acuerdo con el modelo de datos establecido al efecto por el Consejo Interterritorial.

Datos normalizados desde 1997 hasta 2015 inclusive de todos los hospitales de agudos del Sistema Nacional de Salud.

Las variables de consulta incluyen las básicas sobre edad y sexo del paciente, del episodio (tipo de ingreso y alta) y variables clínicas (sobre diagnósticos y procedimientos) a las que se añaden otras derivadas del uso de sistemas de clasificación de pacientes.

4. VERACIDAD: limpieza de la base de datos

Pacientes incluidos en el estudio

Flowchart of the patient population meeting inclusion criteria for the study

Variables del modelo

5. VISUALIZACIÓN: encontrar patrones y claves a investigar

Evolución temporal de los ingresos por ictus isquémico

Descomposición de la serie temporal de ingresos por ictus isquémico

Modelización: Modelos de respuesta binaria

Nuestra variable endógena Y representa la Mortalidad en el hospital y sólo puede tomar dos valores, que codificamos como \(1\)= alta exitus y 0 para el resto. La distribución de Y es una Bernoulli cuya esperanza es:

\[E[Y]=P[Y=1]=p (0<p<1)\]

Sea X una posible variable predictora de Y, entonces la distribución condicional de Y sobre un valor de X = x, también sigue una distribución de Bernoulli de forma que la esperanza condicionada de Y sobre X = x es:

\[ E[Y |X = x] = P [Y = 1 |X = x] = p(x) \] y la varianza condicionada

\[ Var[Y |X = x] = p(x)·(1-p(x)) \]

Podemos formular el modelo para Y en función de X si para su estimación utilizamos una regresión lineal clásica. El modelo quedaría como: \[ Y = \alpha + \beta x + \epsilon(x) \] donde los errores son variables aleatorias independientes con esperanza 0 que distribuyen con una Bernoulli.

Esta estimación se corresponde con el denominado modelo de probabilidad lineal.

Modelo de probabilidad lineal

## 
## Call:
## lm(formula = Yvar ~ Age + Pub.Hol + chf + pulmcirc + chrnlung + 
##     renlfail + lymph + mets + coag + lytes + procedure + Trend + 
##     as.factor(Season), data = df)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.65022 -0.13556 -0.10068 -0.04202  1.12254 
## 
## Coefficients:
##                       Estimate Std. Error t value Pr(>|t|)    
## (Intercept)         -1.600e-01  4.779e-03 -33.481  < 2e-16 ***
## Age                  3.903e-03  5.410e-05  72.142  < 2e-16 ***
## Pub.Hol1             4.652e-03  1.554e-03   2.994 0.002754 ** 
## chf1                 1.378e-01  3.314e-03  41.571  < 2e-16 ***
## pulmcirc1            6.680e-02  5.564e-03  12.006  < 2e-16 ***
## chrnlung1            1.046e-02  2.417e-03   4.326 1.52e-05 ***
## renlfail1            3.742e-02  3.070e-03  12.187  < 2e-16 ***
## lymph1               2.586e-02  1.215e-02   2.127 0.033381 *  
## mets1                2.149e-01  6.214e-03  34.589  < 2e-16 ***
## coag1                4.233e-02  7.359e-03   5.753 8.80e-09 ***
## lytes1               1.513e-01  5.056e-03  29.932  < 2e-16 ***
## procedure1           2.345e-02  2.658e-03   8.824  < 2e-16 ***
## Trend               -2.781e-04  1.583e-05 -17.565  < 2e-16 ***
## as.factor(Season)2  -8.248e-03  3.382e-03  -2.439 0.014746 *  
## as.factor(Season)3  -5.783e-03  3.305e-03  -1.750 0.080203 .  
## as.factor(Season)4  -1.139e-02  3.352e-03  -3.399 0.000676 ***
## as.factor(Season)5  -1.745e-02  3.324e-03  -5.250 1.53e-07 ***
## as.factor(Season)6  -1.607e-02  3.343e-03  -4.808 1.53e-06 ***
## as.factor(Season)7  -2.104e-02  3.345e-03  -6.290 3.19e-10 ***
## as.factor(Season)8  -1.356e-02  3.384e-03  -4.006 6.19e-05 ***
## as.factor(Season)9  -1.818e-02  3.393e-03  -5.358 8.44e-08 ***
## as.factor(Season)10 -1.219e-02  3.330e-03  -3.660 0.000252 ***
## as.factor(Season)11 -1.242e-02  3.325e-03  -3.736 0.000187 ***
## as.factor(Season)12 -4.834e-03  3.294e-03  -1.467 0.142255    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.3081 on 198837 degrees of freedom
## Multiple R-squared:  0.05418,    Adjusted R-squared:  0.05407 
## F-statistic: 495.2 on 23 and 198837 DF,  p-value: < 2.2e-16

Poder explicativo: Modelo estandarizado

Hipótesis de Normalidad y Homocedasticidad

Alternativa: Modelos Lineales Generalizados (GLM)

Los GLM’s tienen tres componentes.

1. La componente aleatoria.
   
2. El predictor lineal, que no es más que la función lineal de las variables explicativas.
   
3. La función de enlace o link, función que especifica la relación entre la esperanza condicionada de \(Y\) y el predictor lineal.

Los modelos logit son modelos GLM dónde la distribución de la variable \(Y\) es binomial y la función de enlace es la función logística. Si llamamos \(\mu=P(Y=1)\) el modelo queda especificado como:

\[logit[\mu]=log\left(\frac{\mu}{1-\mu}\right)=\alpha+\beta_1x_1+...+\beta_px_p\] Estimemos un modelo logit sobre nuestros datos…

Estimación logit

## 
## Call:
## glm(formula = Yvar ~ Age + Pub.Hol + chf + pulmcirc + chrnlung + 
##     renlfail + lymph + mets + coag + lytes + procedure + Trend + 
##     as.factor(Season), family = binomial, data = df)
## 
## Deviance Residuals: 
##     Min       1Q   Median       3Q      Max  
## -1.9361  -0.5279  -0.4252  -0.2889   3.2872  
## 
## Coefficients:
##                       Estimate Std. Error z value Pr(>|z|)    
## (Intercept)         -6.0150072  0.0643860 -93.421  < 2e-16 ***
## Age                  0.0536551  0.0007471  71.814  < 2e-16 ***
## Pub.Hol1             0.0468726  0.0162532   2.884 0.003928 ** 
## chf1                 0.8670417  0.0254485  34.070  < 2e-16 ***
## pulmcirc1            0.5086507  0.0457789  11.111  < 2e-16 ***
## chrnlung1            0.1306847  0.0238028   5.490 4.01e-08 ***
## renlfail1            0.3140673  0.0276331  11.366  < 2e-16 ***
## lymph1               0.2745295  0.1142550   2.403 0.016271 *  
## mets1                1.5834171  0.0460269  34.402  < 2e-16 ***
## coag1                0.4000333  0.0671150   5.960 2.52e-09 ***
## lytes1               0.9359007  0.0378296  24.740  < 2e-16 ***
## procedure1           0.3062087  0.0280336  10.923  < 2e-16 ***
## Trend               -0.0032780  0.0001684 -19.467  < 2e-16 ***
## as.factor(Season)2  -0.0787613  0.0345572  -2.279 0.022658 *  
## as.factor(Season)3  -0.0512318  0.0336684  -1.522 0.128095    
## as.factor(Season)4  -0.1080770  0.0345659  -3.127 0.001768 ** 
## as.factor(Season)5  -0.1734149  0.0346828  -5.000 5.73e-07 ***
## as.factor(Season)6  -0.1642029  0.0349081  -4.704 2.55e-06 ***
## as.factor(Season)7  -0.2152187  0.0353821  -6.083 1.18e-09 ***
## as.factor(Season)8  -0.1373768  0.0351576  -3.907 9.33e-05 ***
## as.factor(Season)9  -0.1899614  0.0356987  -5.321 1.03e-07 ***
## as.factor(Season)10 -0.1214997  0.0343838  -3.534 0.000410 ***
## as.factor(Season)11 -0.1224585  0.0343525  -3.565 0.000364 ***
## as.factor(Season)12 -0.0472429  0.0334433  -1.413 0.157765    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 140416  on 198860  degrees of freedom
## Residual deviance: 129666  on 198837  degrees of freedom
## AIC: 129714
## 
## Number of Fisher Scoring iterations: 5

Odds ratios

## 
## Attaching package: 'MASS'

## The following object is masked from 'package:plotly':
## 
##     select

## Waiting for profiling to be done...

##                             2.5 % 97.5 %
## (Intercept)         0.0024 0.0022 0.0028
## Age                 1.0551 1.0536 1.0567
## Pub.Hol1            1.0480 1.0151 1.0819
## chf1                2.3799 2.2638 2.5013
## pulmcirc1           1.6630 1.5194 1.8181
## chrnlung1           1.1396 1.0875 1.1938
## renlfail1           1.3690 1.2965 1.4448
## lymph1              1.3159 1.0462 1.6381
## mets1               4.8716 4.4496 5.3296
## coag1               1.4919 1.3059 1.6990
## lytes1              2.5495 2.3666 2.7450
## procedure1          1.3583 1.2853 1.4346
## Trend               0.9967 0.9964 0.9971
## as.factor(Season)2  0.9243 0.8637 0.9890
## as.factor(Season)3  0.9501 0.8894 1.0148
## as.factor(Season)4  0.8976 0.8387 0.9604
## as.factor(Season)5  0.8408 0.7855 0.8999
## as.factor(Season)6  0.8486 0.7924 0.9086
## as.factor(Season)7  0.8064 0.7523 0.8642
## as.factor(Season)8  0.8716 0.8135 0.9338
## as.factor(Season)9  0.8270 0.7710 0.8869
## as.factor(Season)10 0.8856 0.8278 0.9473
## as.factor(Season)11 0.8847 0.8271 0.9463
## as.factor(Season)12 0.9539 0.8933 1.0185

Rendimiento del modelo logit

- AIC (Criterio de información de Akaike):

métrica análoga al \(R^2\) ajustado. Siempre preferimos el modelo con un valor mínimo de AIC.

- Null Deviance y Residual Deviance:

suma de los cuadrados de los residuos de la devianza en el modelo con solo constante y en el modelo con covariables respectivamente. Cuando menor valor mejor es el modelo.

- Valores observados vs. predichos:

porcentaje de observaciones correctamente predicas;
sensibilidad;
especificidad
área bajo la curva ROC.

Medidas de bondad del ajuste

## [1] "AIC 129714.2708"

## [1] "RsqrMcFadden 0.0766"

## [1] "Residual deviance 129666.2708"

##    
##        FALSE     TRUE
##   0 0.549977 0.336873
##   1 0.035945 0.077205

## [1] "Accuracy 0.6272"

## [1] "Sensibilidad 0.6823"

## [1] "Especificidad 0.6201"

## [1] "Area under the ROC curve"

## [1] 0.70698

Aportación de cada variable a la reducción de la deviance

## Analysis of Deviance Table
## 
## Model: binomial, link: logit
## 
## Response: Yvar
## 
## Terms added sequentially (first to last)
## 
## 
##                   Df Deviance Resid. Df Resid. Dev Pr(>Chi)    
## NULL                             198860     140416             
## Age                1     7210    198859     133205  < 2e-16 ***
## Pub.Hol            1        7    198858     133198   0.0065 ** 
## chf                1     1247    198857     131951  < 2e-16 ***
## pulmcirc           1      126    198856     131825  < 2e-16 ***
## chrnlung           1       35    198855     131790  4.0e-09 ***
## renlfail           1      107    198854     131684  < 2e-16 ***
## lymph              1        6    198853     131678   0.0158 *  
## mets               1      957    198852     130721  < 2e-16 ***
## coag               1       32    198851     130689  1.3e-08 ***
## lytes              1      508    198850     130181  < 2e-16 ***
## procedure          1       48    198849     130132  3.5e-12 ***
## Trend              1      393    198848     129739  < 2e-16 ***
## as.factor(Season) 11       72    198837     129666  4.1e-11 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

¿Es siempre lineal la relación entre la variable de interés y las explicativas continuas?

En los modelos de regresión es habitual asumir una relación lineal entre la variable dependiente y las variables independientes.

Como primera mejora se propone una relación polinómica, la cual obtiene mejores resultados la mayoría de las veces, pero que en situaciones de elevada variabilidad lleva a un ajuste excesivo que deriva en importantes errores de predicción.

Una alternativa a la relación polinómica es, en lugar de estimar un polinomio sobre todo el conjunto de valores de la variable (por ejemplo, la edad), dividir la misma en tramos ajustando relaciones diferentes lineales/polinómicas etc. en cada uno de ellos.

Modelos Aditivos Generalizados (GAM)

Charles J. Stone (1985). Additive Regression and Other Nonparametric Models.
The Annals of Statistics Vol. 13, No. 2, pp. 689-705.

¿Por qué modelos GAM?

• Para predecir a partir de complejas relaciones (no lineales) que podrían incluso interaccionar;

• Para comprender, visualizar esas relaciones;

• Para controlar por dichas relaciones.

Un poco de teoría

Un modelo de regresión no-lineal general tendría la siguiente forma:

\[ y=f(\mathbf{X}\beta) + \epsilon\] La función \(f(.)\) relaciona el valor medio de la variable respuesta \(y\) con las variables predictoras, y su forma está especificada a priori.

Los modelos GAM permiten otra generalización al incorporar formas no lineales diferentes para cada uno de los predictores.

\[ y=\beta_0+f_1(x_{i1})+f_2(x_{i2})+...+f_p(x_{ip})+\epsilon_i\] ajusta una función \(f_j\) por separado para cada \(X_j\). En otras palabras \(\beta x\) se reemplaza por la función de suavizado \(f(x)\).

Desde la función lineal a la función suavizada

El ajuste de los datos en cada sector se realiza de forma independiente.

La función de suavizado definitiva se elige teniendo en cuenta el “equilibrio” entre la mejoría en la verosimilitud (por ejemplo, la reducción en el AIC) y los grados de libertad.

Tipos de suavizados

Búsqueda del suavizado en cada \(X\)

Modelo de regresión aditivo

Si las \(X'_s\) fuesen completamente independientes podríamos estimar una regresión no-paramétrica para cada una de ellas por separado.

Pero como cabe esperar que las \(X'_s\) estén relacionadas necesitamos ir “eliminando” el efecto de cada predictor.

Se utiliza el algoritmo denominado backfitting.

En un modelo con dos variables: \[ y=\beta_0+f_1(x_{i1})+f_2(x_{i2})+\epsilon_i\] reagrupamos la ecuación como \[ y-f_2(x_{i2})=\beta_0+f_1(x_{i1})+\epsilon_i\] en otras palabras “conocer una función nos permite encontrar la siguiente”

Etapas de la estimación mediante el algoritmo backfitting

1. Se recalculan las variables como desviaciones respecto de su media, eliminando de esta manera los interceptos \(\beta_0\).
   
2. Como estimaciones preliminares para cada función se utiliza la estimación mínimos cuadrados de \[y^*_i=b_1x^*_{i1}+b_2x^*_{i2}+\epsilon_i\]
3. A partir de las regresiones parciales obtengo los residuos parciales de cada \(X\).

4. En el ejemplo de dos covariables, los residuos parciales de \(X_1\) son \[e^{(1)}_{i[1]}=y^*_i-b_2(x^*_{i2})\] y lo mismo con los de \(X_2\)

5. A continuación, suavizamos estos residuos respecto de sus respectivas \(X\), obteniéndose nuevos suavizados de los residuos parciales corregido el efecto del resto de \(X\).

Etapas de la estimación mediante el algoritmo backfitting (continuación)

6. Diferentes tipos de regresiones, loess, splines u otras, pueden utilizarse para minimizar los residuos totales.
   
7. Por ejemplo, en un suavizado spline, los grados de libertad se pueden especificar mediante validación buscando minimizar la suma de cuadrados residual penalizada

\[RSS(f,\lambda)=\sum_{i=1}^N (y_i-f(x_i))^2+\lambda\int_{x_1}^{x_n}f''(x)^2~dx\] el primer término mide la cercanía a los datos, y el segundo penaliza la curvatura en la función.

Presentación de los resultados

• El proceso de búsqueda de nuevas estimaciones de las funciones de suavizado de los residuos parciales se reitera hasta la convergencia

• Cuando termina el proceso anterior obtenemos estimaciones de \(s_j(X_{ij})\) para cada valor de \(X_j\)

• Lo “más interesante, hemos reducido una regresión múltiple a una serie de regresiones parciales bidimensionales, facilitando la interpretación (5. Visualización). Dado que cada regresión parcial es solo bidimensional, las formas funcionales se pueden trazar en gráficos bidimensionales que muestran los efectos parciales de cada \(X_j\) en \(Y\).

Nuestro modelo: “Generalized additive logistic model”

Incorporamos las funciones de suavizados sobre nuestras variables continuas: Edad, tendencia y estacionalidad.

Estimación GAM logit

## 
## Family: binomial 
## Link function: logit 
## 
## Formula:
## Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail + 
##     lymph + mets + coag + lytes + procedure + s(T) + s(Nmonth, 
##     k = 12, bs = "cc")
## 
## Parametric coefficients:
##             Estimate Std. Error z value Pr(>|z|)    
## (Intercept)  -2.4228     0.0107 -226.97  < 2e-16 ***
## Pub.Hol1      0.0482     0.0163    2.95   0.0032 ** 
## chf1          0.8482     0.0257   33.00  < 2e-16 ***
## pulmcirc1     0.5198     0.0461   11.29  < 2e-16 ***
## chrnlung1     0.1638     0.0240    6.83  8.3e-12 ***
## renlfail1     0.3207     0.0279   11.51  < 2e-16 ***
## lymph1        0.3178     0.1147    2.77   0.0056 ** 
## mets1         1.6122     0.0459   35.15  < 2e-16 ***
## coag1         0.4137     0.0673    6.15  7.7e-10 ***
## lytes1        0.9206     0.0382   24.11  < 2e-16 ***
## procedure1    0.3510     0.0281   12.47  < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Approximate significance of smooth terms:
##            edf Ref.df Chi.sq p-value    
## s(Age)    6.04   6.99 6691.6 < 2e-16 ***
## s(T)      4.31   5.30  464.6 < 2e-16 ***
## s(Nmonth) 3.72  10.00   56.5 4.9e-14 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## R-sq.(adj) =  0.063   Deviance explained = 8.11%
## -REML =  64574  Scale est. = 1         n = 198861

Bondad del ajuste logit vs. GAM logit

## [1] "AIC 129714.2708"

## [1] "RsqrMcFadden 0.0766"

## [1] "Residual deviance 129666.2708"

## [1] "Area under the ROC curve"

## [1] 0.70698

## [1] "AIC 129087.8136"

## [1] "RsqrMcFadden 0.0811"

## [1] "Residual deviance 129033.7159"

## [1] "Area under the ROC curve"

## [1] 0.7103

Contraste sobre la reducción en la deviance

## Analysis of Deviance Table
## 
## Model 1: Yvar ~ Age + Pub.Hol + chf + pulmcirc + chrnlung + renlfail + 
##     lymph + mets + coag + lytes + procedure + Trend + as.factor(Season)
## Model 2: Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail + 
##     lymph + mets + coag + lytes + procedure + s(T) + s(Nmonth, 
##     k = 12, bs = "cc")
##   Resid. Df Resid. Dev   Df Deviance Pr(>Chi)    
## 1    198837     129666                           
## 2    198836     129034 1.07      633   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Qué podemos decir del suavizado

Grados de libertad y sobre-ajuste

• Df representa al número de parámetro necesarios para representar la curva y se obtiene como: Df= number of knots –1;
  
• Df se combinado con \(\lambda\) da lugar al edf (effective degrees of freedom). edf está inversamente relacionado con \(\lambda\), a mayor edf menor \(\lambda\);
  
• Cuando edf=1 la función de suavizado es lineal

El paquete mgcv proporciona un contraste sobre la calidad de los suavizados

## null device 
##           1

## 
## Method: REML   Optimizer: outer newton
## full convergence after 5 iterations.
## Gradient range [-4.8916e-08,0.0010942]
## (score 64574 & scale 1).
## Hessian positive definite, eigenvalue range [0.54803,2.5276].
## Model rank =  39 / 39 
## 
## Basis dimension (k) checking results. Low p-value (k-index<1) may
## indicate that k is too low, especially if edf is close to k'.
## 
##              k'   edf k-index p-value
## s(Age)     9.00  6.04    0.96    0.74
## s(T)       9.00  4.31    0.95    0.59
## s(Nmonth) 10.00  3.72    0.99    0.99

## null device 
##           1

Interpretación de resultados GAM logit

Odds ratios para la parte paramétrica

## (Intercept)    Pub.Hol1        chf1   pulmcirc1   chrnlung1   renlfail1 
##    0.088677    1.049356    2.335500    1.681651    1.178017    1.378081 
##      lymph1       mets1       coag1      lytes1  procedure1 
##    1.374149    5.013646    1.512351    2.510824    1.420463

Odds ratios de la estimación logit

##         (Intercept)                 Age            Pub.Hol1 
##              0.0024              1.0551              1.0480 
##                chf1           pulmcirc1           chrnlung1 
##              2.3799              1.6630              1.1396 
##           renlfail1              lymph1               mets1 
##              1.3690              1.3159              4.8716 
##               coag1              lytes1          procedure1 
##              1.4919              2.5495              1.3583 
##               Trend  as.factor(Season)2  as.factor(Season)3 
##              0.9967              0.9243              0.9501 
##  as.factor(Season)4  as.factor(Season)5  as.factor(Season)6 
##              0.8976              0.8408              0.8486 
##  as.factor(Season)7  as.factor(Season)8  as.factor(Season)9 
##              0.8064              0.8716              0.8270 
## as.factor(Season)10 as.factor(Season)11 as.factor(Season)12 
##              0.8856              0.8847              0.9539

Interpretación de resultados GAM logit (continuación 1)

Análisis gráfico en la parte no-paramétrica

Análisis gráfico en la parte no-paramétrica en términos de OR

Edad

Tendencia

Qué evolución ha habido en los procedimientos de rescate del ictus isquémico

Modelo con interacción

## 
## Family: binomial 
## Link function: logit 
## 
## Formula:
## Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail + 
##     lymph + mets + coag + lytes + procedure + s(T, by = proceditromF) + 
##     s(Nmonth, k = 8, bs = "cc")
## 
## Parametric coefficients:
##             Estimate Std. Error z value Pr(>|z|)    
## (Intercept)  -2.4224     0.0107 -226.96  < 2e-16 ***
## Pub.Hol1      0.0483     0.0163    2.96   0.0031 ** 
## chf1          0.8481     0.0257   33.00  < 2e-16 ***
## pulmcirc1     0.5194     0.0461   11.28  < 2e-16 ***
## chrnlung1     0.1638     0.0240    6.83  8.3e-12 ***
## renlfail1     0.3203     0.0279   11.50  < 2e-16 ***
## lymph1        0.3178     0.1147    2.77   0.0056 ** 
## mets1         1.6125     0.0459   35.15  < 2e-16 ***
## coag1         0.4137     0.0673    6.15  7.8e-10 ***
## lytes1        0.9203     0.0382   24.10  < 2e-16 ***
## procedure1    0.3721     0.0418    8.91  < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Approximate significance of smooth terms:
##                     edf Ref.df Chi.sq p-value    
## s(Age)             6.04   7.00 6692.0 < 2e-16 ***
## s(T):proceditromF0 3.80   4.71  430.8 < 2e-16 ***
## s(T):proceditromF1 3.51   4.36   41.5 4.7e-08 ***
## s(Nmonth)          3.32   6.00   55.7 6.4e-14 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## R-sq.(adj) =  0.063   Deviance explained = 8.11%
## -REML =  64576  Scale est. = 1         n = 198861

Análisis gráfico del modelo con interacción

Contraste sobre la reducción en la deviance

## Analysis of Deviance Table
## 
## Model 1: Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail + 
##     lymph + mets + coag + lytes + procedure + s(T) + s(Nmonth, 
##     k = 12, bs = "cc")
## Model 2: Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail + 
##     lymph + mets + coag + lytes + procedure + s(T, by = proceditromF) + 
##     s(Nmonth, k = 8, bs = "cc")
##   Resid. Df Resid. Dev   Df Deviance Pr(>Chi)
## 1    198831     129034                       
## 2    198826     129028 4.68     5.84     0.28

Estructura jerárquica o multinivel

En nuestro modelo aditivo generalizado incorporamos los efectos aleatorios a nivel hospital (en la constante y en la variable “procedimiento”) estimando una nueva función de suavizado (de acuerdo con una distribución Normal) para la interacción entre la variable que identifica al hospital y la dummy de procedimiento.

Modelo generalizado aditivo mixto

## 
## Family: binomial 
## Link function: logit 
## 
## Formula:
## Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail + 
##     lymph + mets + coag + lytes + procedure + s(T) + s(Nmonth, 
##     k = 8, bs = "cc") + s(chos2, bs = "re", by = proceditromF)
## 
## Parametric coefficients:
##             Estimate Std. Error z value Pr(>|z|)    
## (Intercept)  -2.4239     0.0383  -63.36  < 2e-16 ***
## Pub.Hol1      0.0482     0.0164    2.94   0.0033 ** 
## chf1          0.8414     0.0260   32.41  < 2e-16 ***
## pulmcirc1     0.5158     0.0464   11.11  < 2e-16 ***
## chrnlung1     0.1609     0.0241    6.68  2.4e-11 ***
## renlfail1     0.3211     0.0280   11.47  < 2e-16 ***
## lymph1        0.3119     0.1150    2.71   0.0067 ** 
## mets1         1.6265     0.0462   35.23  < 2e-16 ***
## coag1         0.4267     0.0676    6.32  2.7e-10 ***
## lytes1        0.8942     0.0386   23.19  < 2e-16 ***
## procedure1    0.3979     0.0759    5.24  1.6e-07 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Approximate significance of smooth terms:
##                          edf Ref.df Chi.sq p-value    
## s(Age)                  6.07   7.03 6676.7 < 2e-16 ***
## s(T)                    4.04   4.99  459.7 < 2e-16 ***
## s(Nmonth)               3.23   6.00   53.1 3.9e-13 ***
## s(chos2):proceditromF0 36.15  38.00  895.5 < 2e-16 ***
## s(chos2):proceditromF1 26.41  38.00  140.7 < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## R-sq.(adj) =  0.0701   Deviance explained = 8.89%
## -REML = 2.8049e+05  Scale est. = 1         n = 198861

Bondad del ajuste GAM logit vs. Mixed GAm logit

## [1] "AIC 129087.8136"

## [1] "RsqrMcFadden 0.0811"

## [1] "Residual deviance 129033.7159"

## [1] "Area under the ROC curve"

## [1] 0.70698

## [1] "AIC 128114.3068"

## [1] "RsqrMcFadden 0.0889"

## [1] "Residual deviance 127935.4568"

## [1] "Area under the ROC curve"

## [1] 0.71846

Contraste sobre la reducción en la deviance

## Analysis of Deviance Table
## 
## Model 1: Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail + 
##     lymph + mets + coag + lytes + procedure + s(T) + s(Nmonth, 
##     k = 12, bs = "cc")
## Model 2: Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail + 
##     lymph + mets + coag + lytes + procedure + s(T) + s(Nmonth, 
##     k = 8, bs = "cc") + s(chos2, bs = "re", by = proceditromF)
##   Resid. Df Resid. Dev   Df Deviance Pr(>Chi)    
## 1    198831     129034                           
## 2    198761     127935 69.7     1098   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Análisis gráfico del modelo con interacción

Componentes de la varianza en los efectos aleatorios

## [1] "Estimated variance components"

##                        std.dev   lower   upper
## s(chos2):proceditromF0 0.22862 0.18058 0.28945
## s(chos2):proceditromF1 0.34209 0.24765 0.47254

## [1] "Conditional intraclass correlation"

##       ICC Std. Err.    L95%CI    U95%CI 
##    0.0152    0.0036    0.0096    0.0240

## [1] "Median Odds ratio"

##    MOR L95%CI U95%CI 
## 1.2236 1.1733 1.2901

## [1] "Testing for a random slope"

##   Chi2(2) Prob>chi2 
##    60.568     0.000

Efectos aleatorios

Efectos aleatorios: representación conjunta por cuadrantes

y qué hay del manejo de grandes bases de datos?

El paquete mgcv dispone de una función “bam” para el ajuste de modelos GAM con grandes volúmenes de datos. La ventaja de bam es que optimiza el uso de la memoria en la computación utilizando menos tiempo para la convergencia de los modelos. bam también puede trabajar con clústers previamente configurados en el paquete parallet.

Próximamente…….